Animate Anyone 人物图片生成动画

这两天有个新的论文《Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation》发布。代码还没有开源，所以还不能使用，但是可以先看论文：https://arxiv.org/abs/2311.17117

先看效果

他们的方法概述如下： 

首先，姿态序列首先使用Pose Guider进行编码，并与多帧噪声融合。

其次，由Denoising UNet进行视频生成的去噪过程。Denoising UNet的计算块由空间注意力、交叉注意力和时间注意力组成，如右侧虚线框中所示。参考图像的整合涉及两个方面：

1. 通过ReferenceNet提取详细特征，并用于空间注意力。
2. 通过CLIP图像编码器提取语义特征，用于交叉注意力。时间注意力在时间维度上操作。

最后，VAE解码器将结果解码为视频剪辑。

看看不同效果：

实体人

卡通人

人形

还可以看看不同技术方法的对比：